高保真人像风格化秒级生成！揭秘爆火的小红书开源模型InstantID

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~

本期精彩

最近，全网都被一款超酷的 AI 头像生成工具 InstantID 刷屏了，许多网友玩得不亦乐乎。只需上传一张照片，无需模型训练，短短几十秒内就可以生成多种风格强烈的写真，还能保持面貌特征不变。这款由小红书推出的开源项目——InstantID 迅速在 GitHub 上获得了八千星标，受到广大开发者的使用好评，连深度学习科学家 Yann LeCun 也发来点赞，在线许愿钢铁侠套装。

本期开放麦，2 月 29 日 20:00-21:00，我们特别邀请到小红书创作发布团队算法工程师王浩帆，为大家深度解析 InstantID 的技术原理，欢迎大家收看直播

分享内容

• InstantID 掀起热潮

• 个性化图像合成的相关工作

• InstantID 设计思路

• InstantID 应用案例

• 讨论与提问

分享时间

北京时间

2024 年 2 月 29 日（周四）

20: 00 - 20: 40（分享）

20: 40 - 21: 00（Q&A）

分享嘉宾

王浩帆

InstantX 团队成员，小红书创作发布团队算法工程师，从事可控条件生成领域的创新研究。硕士毕业于卡内基梅隆大学，代表工作包括 InstantID、Score-CAM 等。

内容详情

Textual Inversion、DreamBooth 和 LoRA 等方法在个性化图像合成方面已经取得了重大进展。然而，它们在实际应用中受到高存储需求、耗时的微调过程以及需要多张参考图像的限制。相反，现有的基于 ID 嵌入的方法虽然只需要一次前向推理，但也面临着挑战：它们要么需要对大量模型参数进行广泛的微调，要么与社区预训练模型不兼容，或者无法保持较高的人脸保真度。

为解决这些限制，我们推出了基于扩散模型的解决方案 —— InstantID。我们的即插即用模块只需使用单张面部图像，就能熟练地处理各种风格的图像个性化，同时确保高保真度。为此，我们通过强语义和弱空间条件设计了一个新颖的 IdentityNet（身份识别网络），将面部和地标图像与文本提示相结合，引导图像生成。InstantID 展示了卓越的性能和效率，在身份保护至关重要的实际应用中是非常有益的。此外，我们的工作与流行的预训练文本到图像扩散模型如 SD1.5 和 SDXL 无缝集成，可作为一个适应性强的插件。

想了解更多的具体内容，快来预约本周四晚 20：00 的社区开放麦直播吧~

论文：

InstantID: Zero-shot Identity-Preserving Generation in Seconds

GitHub：

https://github.com/InstantID/InstantID

项目主页：

https://instantid.github.io/

论文地址：

https://arxiv.org/abs/2401.07519

免费体验地址：

https://huggingface.co/spaces/InstantX/InstantID

交流群

同时为了方便大家交流沟通，我们建立了相关的交流群，本期分享的大佬也在群里哦，可与大佬进行 1v1 沟通 ，扫码即可入群~